Este relatório foi planejado para gerar informações e contribuir para um melhor planejamento das Unidades Educacionais(centros DE Ensino Superior, faculdades e universidades), visando à melhoria de desempenho dos estudantes nas edições futuras do ENADE. Os conteúdos e resultados são oriundos dos documentos oficiais constantes nos microdados divulgados pelo Inep, que podem ser baixados do endereço (INEP, 2018).
No presente estudo, busca-se, modelar a probabilidade de acertos das questões (itens) que compõem a prova, considerando-se a proficiência do estudante a partir da dificuldade e capacidade de discriminação dos itens e da probabilidade de acerto casual. Por permitir uma avaliação do conhecimento efetivamente dominado pelo estudante em cada item, esta iniciativa possibilita intervenções e ações pontuais de correção no processo de ensino-aprendizagem, de modo a identificar lacunas que compreendam possíveis deficiências de aprendizagem.
Espera-se, portanto, contribuir com a área de educação em diversos cursos com a busca de instrumentos alternativos para aferição da situação atual do ensino superior no Pará, consubstanciada na avaliação do desempenho acadêmico dos estudantes (proficiência), de modo a avaliar, detalhadamente, a situação encontrada em cada tipo de conhecimento que integra os componentes dos cursos em análise.
O Exame Nacional de Desempenho dos Estudantes (ENADE) é um dos pilares da avaliação do sistema Nacional de Avaliação da Educação Superior (SINAES), criado pela Lei n°10.861, de 14 de abril 2004. Além do ENADE, os processos de avaliação de Cursos de graduação e de Avaliação Institucional constituem o tripé avaliativo do SINAES, os resultado desses instrumentos avaliativos, reunidos, permitem conhecer, em profundidade, o modo de funcionamento e a qualidade dos cursos e instituições de Educação Superior(IES) de todo o Brasil.
O ENADE é uma prova aplicada anualmente aos alunos (ingressantes e concluintes) de cursos de graduação, em areas definidas pelo Ministério da Educação(MEC) e é realizado pelo INEP.
O objetivo do ENADE e avaliar o desempenho dos estudantes com relação aos conteúdos programáticos das diretrizes curriculares dos curso de graduação e o desenvolvimento de competências e habilidades necessárias à formação geral e profissional.
A prova do ENADE/2018 de acordo com o art. 6° da Portaria Inep n°444, com duração de 4 horas, apresentou um componente de avaliação na Formação Geral(FG), comum aos cursos de todas as áreas e um Componente Específico(CE) de acada área.
A parte referente ao CE contribui com 75% da nora final, equanto a parcela, referente a FG, contribui com 25%, em consonância com o número de questões da prova, 30 e 10, respectivamente. Os conceitos utilizados no ENADE variam de 1 a 5, e, à medida que esse valor aumenta, melhor terá sido o desempenho no exame.
8 (oito) questões objetivas com peso idêntico, perfazendo 100%. Assim, a nota bruta das questões objetivas de FG é a proporção de acertos dessas questões.
2 (duas) questões discursivas, cuja correção leva em consideração o conteúdo, com peso de 80%, e aspectos referentes à Lingua Portuguesa com peso de 20% distribuídos sa seguinte maneira: Aspectos Ortográficos (30%), Aspectos Textuais (20%), Aspectos Morfossintáticos e Vocabulares (50%). A nota das questões discursivas de Formação geral é a média simples das notas das duas questões discursivas.
As notas dos dois componentes, de Formação Geral e de Conhecimento Específico, são então arredondadas à primeira casa decimal. Para a obtenção da nota final do estudante, as notas dos dois componentes foram ponderadas por pesos proporcionais ao número de questões: 25% para FG e 75% para CE. esta nota foi também arredondada a uma casa decimal.
No brasil, alguns trabalhos abordaram a Teoria da Resposta ao Item (TRI) para avaliação da proficiência com microdados do ENADE.
Francisco(2005), realizou um estudo de caso por meio da aplicação da TRI, com a finalidade de verificar o desempenho dos alunos formandos do curso de Matemática da Universidade Estadual do Centro-Oeste (UNICENTRO), em Guarapuava-PR, no período de 2000 até 2003, no Exame Nacional de Cursos (ENC);1
Oliveira(2006), utilizou a TRI para proceder a uma anÁlise das propriedades psicométricas da prova do ENADE de 2004, aplicada aos alunos dos cursos de medicina;2
Nogueira (2008), aplicou a TRI para avaliar as questões da prova de formação geral (FG) do ENADE, em especial aquelas que envolvem conceitos estatísticos, visando estimar a proficiência dos estudantes nos conteúdos avaliados e o ajuste dos itens ao modelo de Rasch;3
Primi et al.(2010), aplicaram a TRI aos dados do ENADE de psicologia de 2006, para determinar os pontos de corte, formamando grupos de competências requeridas para a resolução de itens;4
Coelho et al.(2014), utilizaram três conjuntos de dados, dentre eles respostas do curso de estatística do ENADE de 2009 via TRI;5
Scher et al.(2014), analisaram a prova do ENADE de 2009 do curso de Administração por meio da TRI;6
Lopes e Vendramini (2015), avaliaram as propriedades psicométricas da prova de Pedagogia do ENADE, aplicada em 2005, com o modelo de Rasch da TRI;7
Camargo et al.(2016), mensuraram a proficiência dos estudantes do curso de Ciências Contábeis no ENADE utilizando TRI;8
Spenassato e Tezza (2019), apresentaram as vantagens da utilização da TRI, em conjunto com a análise das questões objetivas do ENADE 2014 para o curso de Engenharia da Computação, comparando a dificuldade com os índices de facilidade dos itens divulgado no relatório da área pelo INEP(2016).9
A especificação das habilidades na matriz de cada área possibilita realizar interpretações mais precisas sobre o desempenho dos avaliados. Para isso, é fundamental explicitar qual a magnitude e/ou escalados resultados, escolhendo alguns intervalos de proficiência para identificar as habilidades cognitivas absorvidas pelos candidatos naquele intervalo.
O termo “item”, em substituição ao “questão”, é o padrão em avaliações e estudos educacionais. Especificamente, um item deve ser preparado para avaliar uma única habilidade(em outras situações, denominada de tópico ou descritor).Portanto, os itens estão intrinsecamente ligados à matriz de referência do exame.
Assim como nas principais avaliações do Brasil e exterior, os resultados de desempenho dos avaliados no ENADE são obtidos apartir da utilização da Teoria da Resposta ao Item (TRI).
Essa teoria surgiu da necessidade de superar as limitações presentes na apresentação de resultados somente através de percentuais de acertos e médias desses percentuais, medidas adotadas na denominada Teoria Clássica dos Testes(TCT).
O foco na TRI passa a ser os itens,e não simplesmente o número ou percentual de acertos.Cada item do ENADE, além de medir uma única habilidade, deve ter características estatísticas boas, deforma que possam realmente mensurar melhor as proficiências dos examinados.
Também é importante explicitar que as respostas aos itens são dicotomizadas(certo/errado) para aplicação da TRI no ENAD, de forma que não faz diferença qual alternativa incorreta o candidato marque,o resultado será sempre o mesmo.
É uma metodologia estatística que modela a probabilidade(um valor entre zero e um) de um particular indivíduo responder corretamente a um determinado item, através de uma função em forma de “S”(denominada de função Logística).
Cada item tem suas próprias características, que denominaremos parâmetros; cada indivíduo tem um certo “valor” de proficiência na área avaliada,que será a sua nota TRI.
Assume-se basicamente que, quanto maior a proficiência, maior a probabilidade de acerto do item.
\[ P(Y_{ij}=1|\theta_{j}, \varsigma_{i})= c_{i}+(1-c_{i})\frac{1}{1+e^{-Da_{i}}(\theta_{j}-b_{i})}\] Com \(i=1,2,...,n\) onde:
\(Y_{ij}\): variável dicotômica que assume os valore 1(um), quando o indivíduo \(j\), no estudo em questão, responde corretamente o item, ou assume 0 (zero) caso contrário.
\(\theta_{j}\): representa o traço latente (parâmetro de habilidade) do j-ésimo aluno pesquisado;
Parâmetro de Discriminação(\(a_{1}\)): mede a capacidade que cada item possui para diferenciar aqueles participantes que sabem o conteúdo do item daqueles participantes que não o dominam, e está associado à inclinação da curva.
Parâmetro de Dificuldade(\(b_{i}\)): mede a dificuldade associada ao conteúdo do item, e quanto maior seu valor, mais difícil será o conteúdo do item. Ele é expresso na mesma escala da proficiência(habilidade). E muma prova de qualidade devemos ter itens de diferentes níveis de dificuldade para avaliar adequadamente os participantes em todos os níveis de conhecimento. Para valores de proficiência dos alunos apartir do valor de “\(b_{i}\)” do item, a probabilidade de acertar o item é maior do que a probabilidade de errar;
Parâmetro de Acerto Casual(\(c_{i}\)): em provas de múltipla escolha, um participante que não domina o conteúdo de um determinado item da prova pode responder corretamente a esse item por acerto casual. Com isso,esse parâmetro representa a probabilidade de um participante de baixa proficiência acertar o item de forma casual.
(\(D_{i}\)): é um faor de escala. igual a 1 se os parâmetros dos itens estimados na métrica da logística, igual a 1,7 se os paraâmetros dos itens são estimados na métrica da ogiva normal.
Mensurar o Desempenho (proficiência) dos Estudantes do curso de DIREITO no ENADE por meio da Teoria da Resposta ao Item (TRI), indicando perspectivas de uso dos resultados para o aprimoramento do Projeto Político Pedagógico do CESUPA.
A população do estudo é constituída pelos alunos concluintes do curso de graduação em Direito do CESUPA no Pará. Foram inscritos para aprova do ENADE/2018 um total de 250 estudantes, sendo a prova resolvida por 245 estudantes concluintes.
Para o estudo foram consideradas, exclusivamente, as questões objetivas, ou seja 35(trinta e cinco) questões, (oito de formação geral e vinte e sete de conhecimento específico).
Os microdados coletados forma dicotomizados, ou seja, como as resposta dos microdados disponibilizados pelo INEP são apresentados na forma de alternativas A, B, C, D ou E, estas foram comparadas ao gabarito. Assim, as respostas corretas receberam o valor 1(um) e as respostas erradas foram sisbustituídas por 0(zero).
Para mensuração do desempenho (proficiência) dos estudantes no ENADE foi implementada um script no software R-Project versão 4.0 e um ambiente de desenvolvimento integrado chamado Rstudio versão 1.1.5 com uso dos pacotes:
Para Mensuração do Desempenho (proficiência via TRI) dos estudantes de Direito matriculados no CESUPA que fizeram a prova do ENADE EM 2018, foi necessário os seguintes pacotes.
library(mirt) # Multidimensional Item Response Theory
library(ltm) # Latent Trait Models under IRT
library(irtoys) # A Collection of Functions Related to Item Response Theory (IRT)
library(psych) # Procedures for Psychological, Psychometric, and Personality Research
Para o desenvolvimento de um ambiente de viasualização dos resultados, foi utilizado os recursos do pacote RMarkdown com alguns recuros extras.
library(dplyr) # A Grammar of Data Manipulation
library(DT) # A Wrapper of the JavaScript Library 'DataTables'
library(rstatix) # Pipe-Friendly Framework for Basic Statistical Tests
library(tinytex) # Fazer Fórmulas via Latex
library(knitr) # A General-Purpose Package for Dynamic Report
library(kableExtra) # Construct Complex Table with 'kable' and Pipe Syntax
library(formattable) # Create 'Formattable' Data Structures
library(htmltools) # Tools for HTML
library(rmarkdown) # Dynamic Documents for R
library(distill) # RMarkdown Format for Scientific and Technical Writing
library(ggplot2)
library(plotly)
library(ggpubr)
library(gridExtra)
library(ggthemes)
Inicialmente, será feito a leitura dos microdados do Enade-2018 diretamente do site do INEP.
setwd("C:/Users/mario Dhiego/Documents/ENADE")
Base_Completa=read.table("microdados_enade_2018.txt",
header=TRUE,
sep=";",
dec=",",
colClasses=c(NT_OBJ_FG="numeric"))
Base = Base_Completa %>% dplyr::select (NT_OBJ_FG,
CO_GRUPO,
CO_REGIAO_CURSO,
QE_I02,
CO_TURNO_GRADUACAO,
TP_SEXO,
NU_IDADE)
DIREITO = Base %>% filter (CO_GRUPO == 2)
DIREITO = DIREITO %>% mutate(CURSO = case_when(CO_GRUPO== 2 ~ "Direito"))
## # A tibble: 10 x 2
## NOTAS total
## <dbl> <int>
## 1 0 2077
## 2 12.5 7315
## 3 25 14926
## 4 37.5 20748
## 5 50 22627
## 6 62.5 21283
## 7 75 17969
## 8 87.5 13421
## 9 100 7057
## 10 NA 18002
## # A tibble: 5 x 2
## REGIAO total
## <chr> <int>
## 1 Centro-Oeste 17870
## 2 Nordeste 32033
## 3 Norte 10287
## 4 Sudeste 60720
## 5 Sul 24515
## # A tibble: 6 x 2
## RACA total
## <chr> <int>
## 1 Amarela 2958
## 2 Branca 73375
## 3 Indigena 41647
## 4 ND 380
## 5 Preta 11368
## 6 <NA> 15697
## # A tibble: 4 x 2
## TURNO total
## <chr> <int>
## 1 Integral 4012
## 2 Matutino 38486
## 3 Noturno 95838
## 4 Vespertino 7089
## # A tibble: 2 x 2
## SEXO total
## <chr> <int>
## 1 Feminino 82078
## 2 Masculino 63347
A estimação dos parâmetros dos modelos baseados na Teoria da Resposta ao Item foi realizada pelo Método de Máxima Verossimilhança Marginal, com a aplicação conjunta de um processo interativo chamado de algoritmo Newton-Raphson ou Scoring de Fisher, conforme ANDRADE et al. 2000.
Para a comparações entre os modelos gerados utilizou-se o Teste da Razão de Verossimilhança por meio da Anova e os critérios AIC (Akaike Information Criterion) e BIC (Bayesian Information Criterion), além de serem produzidos os gráficos com as Curvas Características do Item, Curvas de Informação do Item e Função de Informação Total do Teste.
Em avaliação educacional, TCT tem como elemento central a prova como um todo e seus resultados são expressos em escores bruto, ou seja, no número total ou no percentual de itens respondidos corretamente. As propriedades psicométricas dos itens de uma prova realacionam-se aos parâmetros a segui: índice de dificuldade, índice de discriminação e corelação biserrial BOTGATTO e ANDRADE, 2012
A análise do funcionamento de cada questão(item) em relação ao grupo de alunos respondentes, possibilitam:
Apresenta-se alguns resultados importantes para a compreenção da posterior análise da prova do ENADE/2018 para o curso de graduação em Direito do CESUPA, de acordo com a tabela abaixo.
Tabela 01. Percentual de Resposta por Tipo de Alternativa na Prova do ENADE/2018 do curso de Direito.
| Itens/Gabarito | A | B | C | D | E |
|---|---|---|---|---|---|
01-C |
1.3 | 7.7 | 81.2 | 9.0 | 0.9 |
02-A |
81.68 | 12.7 | 1.6 | 3.3 | 0.8 |
03-C |
8.6 | 1.2 | 77.6 | 4.9 | 7.8 |
04-B |
5.3 | 68.6 | 12.7 | 6.5 | 6.9 |
05-E |
|||||
| … | … | … | … | … | … |
32-D |
|||||
33-B |
|||||
34-C |
|||||
35-E |
Tabela 02. Percentual de acertos por Tipo de Alternativa na Prova do ENADE/2018 do curso de Direito.
| Itens | Erros | (\(n_{1}\)) | Acertos | (\(n_{2}\)) |
|---|---|---|---|---|
Q01 |
22.4 | 55 | 77,6 | 190 |
Q02 |
18,4 | 45 | 81,6 | 200 |
Q03 |
22,4 | 55 | 77,6 | 190 |
Q04 |
31,4 | 77 | 68,6 | 168 |
Q05 |
34,3 | 84 | 65,7 | 161 |
| … | … | … | … | … |
Q32 |
78,8 | 193 | 21,2 | 52 |
Q33 |
47,8 | 117 | 52,2 | 128 |
Q34 |
77,6 | 190 | 22,4 | 55 |
Q35 |
65,3 | 160 | 34,7 | 85 |
Tabela 03. Descrição dos Escores Brutos para os itens na Prova do ENADE/2018 do curso de Direito.
| Estatística | Formação Geral | Componente Específico | Nota Bruta |
|---|---|---|---|
Nº de Itens |
8 | 27 | 35 |
Média |
6.1 | 12.3 | 18.4 |
Moda |
7 | 12 | 16 |
Mínimo |
1(12.8%) | 4(14.8%) | 9(27.5%) |
Máximo |
8(100%) | 19(70.4%) | 27(77.1%) |
1º Quartil |
5(62.5%) | 10(37%) | 16(45.7%) |
2º Quartil |
7(87.5%) | 14(51.9%) | 21(60%) |
Tabela 04. Distribuição dos itens por Ìndice de Facilidade na Prova do ENADE/2018 do curso de Direito.
| Classificação | Indice de Facilidade | Nº do Itens | Nº de Amostra |
|---|---|---|---|
Muito Fácil |
0.91 ou mais | 9 | 1 (2.9%) |
Fácil |
0.71 a 0.90 | 1,2,3,6,7,8,12,13,25 | 9 (25.7%) |
Moderado |
0.31 a 0.70 | 4,5,10,14,15,16,17,20,21,24,27,30,31,33,35 | 15 (42.9%) |
Difícil |
0.11 a 0.30 | 11,18,19,23,26,28,29,32,34 | 9(27.5%) |
Muito Difícil |
0.00 a 0.10 | 22 | 1(2.9%) |
Tabela 05. Distribuição dos itens por Ìndice de Discriminação na Prova do ENADE/2018 do curso de Direito.
| Classificação | Indice de Discrimnação | Nº do Itens | Nº de Amostra |
|---|---|---|---|
Muito Bom |
0.40 ou mais | 15 | 1 (2.9%) |
Bom |
0.30 a 0.39 | 1,2,4,5,7,11,17,20,24,25,28 | 11 (31.43%) |
Médio |
0.20 a 0.29 | 3,12,13,14,27,29,31,33,34 | 9 (25.71%) |
Fraco |
$ < 0.19$ | 6,8,9,10,16,18,19,22,23,26,32,35 | 12(34,29%) |
São apresentados os dados de correlação bisserial, sendo uma medida estatística da capacidade de discriminação do item, na medida em que verificar se um determinado item binário apresenta correlação significativa com o escore bruto resultante do conjunto dos itens do ENADE.
Para avaliar a qualidade do instrumento de medida (fidedignidade), foi aplicado o coeficiente alpha de Cronbach.
Tabela 06. Correlação Bisserial e Alpha de Cronbch para os itens na Prova do ENADE/2018 do curso de Direito.
| Itens | Correlação Bisserial \((r_{pb})\) | Alpha de Cronbach \((\alpha_{i})\) |
|---|---|---|
Q01 |
0.30 | 0.62 |
Q02 |
0.34 | 0.61 |
Q03 |
0.22 | 0.62 |
Q04 |
0.38 | 0.61 |
Q05 |
0.35 | 0.62 |
| … | ….. | …… |
Q32 |
0.14 | 0.62 |
Q33 |
0.28 | 0.62 |
Q34 |
0.23 | 0.62 |
Q35 |
0.17 | 0.63 |
Os modelos da TRI pressupõem-se que todos os itens medem uma única habilidade. Apesar do desempenho humano ser multi-determinado, uma vez que mais de uma habilidade participa da execução de qualquer tarefa, para satisfazer o postulado da unidimensionalidade do teste, é suficiente admitir que haja um fator dominante responsável pelo desempenho de todos os itens do teste no ENADE (LORD e HAMBLETON, 1982).
A evidência de validade psicométrica de construto para a prova doi ENADE/2018, foi obtida a partir da Análise Fatorial(AF) dos 35 itens que compõem a prova. A medida de adequação da amostra de kaiser-Meyer-Olkin(KMO) para a AF, igual a 0.76, indicou um resultado satisfatório.
Tabela 07. Teste de Confiabilidade para os itens na Prova do ENADE/2018 do curso de Direito.
| Testes | Formação Geral | Componente Específico | Nota Brura |
|---|---|---|---|
Alpha de Crombach |
0.71 | 0.78 | 0.76 |
Teste de KMO |
0.72 | 0.73 | 0.76 |
Teste de bartlett |
P-valor=0.001 | P-valor=0.001 | P-valor=0.001 |
MSA |
> 0.70 | > 0.70 | > 0.70 |
O teste de esfericidade de Bartlett que permite avaliar a hipótese de igualdade de variância-covariância no grupo estudado, isto é, que a matriz de correlação é uma matriz identidade, revelou que existe correlação entre as variáveis estudadas (HAIR et al, 2005)
A partir dos dados, análise da dimensionalidade do conjunto de itens foi realizada através da Análise Fatorial de Informação Completa (MATOS e RODRIGUES, 2019).
O processo de estimação dos itens foi realizado em vários passos, estratégia utilizada para manter o maior número possível de itens na prova do ENADE. A qualidade dos itens foi avaliada considerando-se, principalmente, os valores referentes às estimativas dos parãmetros de discriminação e de dificuldade.
a tabela 06 apresenta os parâmetros de discriminação \(a_{i}\), dificuldade \(b_{i}\) dos itens avaliados. Tais parâmetros foram estimados utilizando a TRI, com o método de Máxima verossimilhança Marginal e a convergência dos dados foi testada pelo algoritmo EM(Expection Maximization) e Newton Raphson.
Tabela 08. Estimação dos parâmetros dos itens para o Modelo logístico (3pl) da prova do ENADE/2018 no curso de Direito.
| Itens | Discriminação \(a_{i}\) | Dificuldade \(b_{i}\) |
|---|---|---|
Q01 |
0.682 | -1.994 |
Q02 |
1.018 | -1.750 |
Q03 |
0.471 | -3.084 |
Q04 |
1.184 | -1.094 |
Q05 |
0.690 | -1.042 |
| … | ….. | …… |
Q32 |
0.085 | 15.433 |
Q33 |
0.432 | -0.217 |
Q34 |
0.453 | 2.857 |
Q35 |
0.240 | 2.667 |
Tabela 09. Comparativo dos Escores da TRI para 5 alunos com 23 acertos na prova do ENADE/2018 no curso de Direito.
| Itens | Conteúdo | Aluno \(01\) | Aluno \(02\) | Aluno \(03\) | Aluno \(04\) | Aluno \(05\) |
|---|---|---|---|---|---|---|
Q01 |
Transgênicos | Acertou | Acertou | Acertou | Acertou | Errou |
Q02 |
Economia | Acertou | Acertou | Acertou | Acertou | Acertou |
Q03 |
Arte/Ciência | Acertou | Acertou | Acertou | Acertou | Acertou |
Q04 |
Imigração | Acertou | Acertou | Acertou | Acertou | Acertou |
Q05 |
Àfrica | Erro | Acertou | Errou | Acertou | Acertou |
| …. | …. | ….. | ….. | ….. | ….. | ….. |
Q32 |
Processual Penal | Errou | Erro | Acertou | Errou | Errou |
Q33 |
Direito Penal | Acertou | Acertou | Errou | Acertou | Acertou |
Q34 |
Constitucional | Errou | Errou | Acertou | Acertou | Errou |
Q35 |
Constitucional +PP | Errou | Acertou | Errou | Errou | Errou |
Score Bruto |
23 | 23 | 23 | 23 | 23 | |
Score TRI(50,10) |
34.58 | 65.48 | 35.17 | 60.37 | 41.20 |
Allaire, JJ, Rich Iannone, Alison Presmanes Hill, and Yihui Xie. 2020. Distill: R Markdown Format for Scientific and Technical Writing. https://CRAN.R-project.org/package=distill.
Zhu, Hao. 2020. kableExtra: Construct Complex Table with Kable and Pipe Syntax. https://CRAN.R-project.org/package=kableExtra.
Hadley Wickham; Romain François;Lionel Henry; Kirill Müller. dplyr: A Grammar of Data Manipulation https://cloud.r-project.org/web/packages/dplyr/index.html.
Alboukadel Kassambara. rstatix: Pipe-Friendly Framework for Basic Statistical Tests https://cran.r-project.org/web/packages/rstatix/index.html.
Joe Cheng; Carson Sievert; Winston Chang; Yihui Xie; Jeff Allen. htmltools: Tools for HTML https://cran.r-project.org/web/packages/htmltools/index.html.
Phil Chalmers; Joshua Pritikin; Alexander Robitzsch; Mateusz Zoltak; KwonHyun Kim; Carl F. Falk; Adam Meade; Lennart Schneider; David King; Chen-Wei Liu; Ogreden Oguzhan. mirt: Multidimensional Item Response Theory https://cran.r-project.org/web/packages/mirt/index.html.
Dimitris Rizopoulos.ltm: Latent Trait Models under IRT https://cran.r-project.org/web/packages/ltm/index.html.
William Revelle. psych: Procedures for Psychological, Psychometric, and Personality Research https://cran.r-project.org/web/packages/psych/index.html.
Ivailo Partchev; Gunter Maris; Tamaki Hattori. irtoys: A Collection of Functions Related to Item Response Theory (IRT) https://cran.r-project.org/web/packages/irtoys/index.html.
ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo, 2000. https://docs.ufpr.br/~aanjos/CE095/LivroTRI_DALTON.pdf
BAKER, F. B. The Basics of Item Response Theory. 2 ed. USA, 2001. https://eric.ed.gov/?id=ED458219
Yihui Xie, J. J. Allaire, Garrett Grolemund. R Markdown: The Definitive Guide. https://bookdown.org/yihui/rmarkdown/.
Yihui Xie. Dynamic Documents with R and knitr,(Chapman & Hall/CRC The R Series) 2nd Edition. https://yihui.org/knitr/.
Field, A. P., Miles, J., & Field, Z. (2012). Discovering statistics using R. https://aedmoodle.ufpa.br/pluginfile.php/401852/mod_resource/content/5/Material_PDF/1.Discovering%20Statistics%20Using%20R.pdf
Os resultados das avaliações somativas como a Aplicação de Simulado dará base de como a gestão acadêmica irá retornar aos alunos as devolutivas de um resultado não observado em uma prova até alcançar aprendizagem plea.
Os objetivos disciplinares e interdisciplinares devem estar presentes nas habilidades dos professores, assim como, a Taxonomia de Bloom, mobilizando competências aos alunos.